Đại Chủng viện Hà Nội hình thành sơ khởi ở Kẻ Vĩnh, Kẻ Non, rồi đến Kẻ Sở[1].

Năm 1932, Linh mục J. de Guébriant làm phép viên đá đầu tiên của Đại chủng viện ở Liễu Giai. Năm 1934, mở niên khoá đầu tiên.

Năm 1934, khi bắt đầu mở Đại chủng viện Xuân Bích ở Liễu Giai, Hà Nội, các lớp cuối cùng ở Kẻ Sở vẫn tiếp tục.

Ngày 19 tháng 12 năm 1946, kháng chiến chống Pháp bùng nổ, Đại chủng viện bị giải tán. Có một thời gian một số chủng sinh học chung ở ấp Thái Hà nay là dòng Chúa Cứu Thế Hà Nội.

Năm 1948, mở lại Đại chủng viện tại cơ sở cũ của "Tràng Thử" được xây dựng từ năm 1928 ở 40 phố Nhà Chung, Hà Nội. Linh mục chính Huy làm bề trên.

Năm 1949, Linh mục Gastine từ Pháp qua làm bề trên cho tới năm 1954.

Năm 1954 cơ sở lại trở thành Tiểu chủng viện Thánh Gioan với 198 chủng sinh, do linh mục Phạm Đình Tụng làm giám đốc.

Năm 1960 giải tán Tiểu chủng viện Thánh Gioan.

Sau 11 năm bỏ trống năm 1971 trở thành Đại chủng viện Thánh Giuse Hà Nội, do Tổng Giám mục phó Trịnh Văn Căn làm giám đốc.

Từ năm 2005, chính quyền Việt Nam cho phép tuyển sinh mỗi năm một lần[2].

Hiện nay Đại chủng viện Thánh Giuse Hà Nội có thêm một cơ sở ở số 220 đường Cổ Nhuế, phường Cổ Nhuế 2, quận Bắc Từ Liêm, thành phố Hà Nội (nằm phía sau nhà thờ Cổ Nhuế).

Trong thời gian học tập các chủng sinh còn tham gia là công tác xã hội như thăm hỏi người đau yếu, các bệnh nhân phong cùi[3].